Por que e como reformar um currículo inovador? Um relato de experiência de Londrina / Why and how to reform an innovative curriculum? An experience report from Londrina

Resumo: Introdução: O curso de graduação em Medicina da Universidade Estadual de Londrina foi o segundo do Brasil a adotar currículo integrado e Aprendizagem Baseada em Problemas (PBL). Apesar de seu currículo inovador ter servido de referência a outras escolas, avaliações recentes mostraram a necessidade de reforma. Relato de experiência: As avaliações sistemáticas do curso indicaram os seguintes problemas: dificuldade de adaptação dos ingressantes à primeira série; desorganização da sequência de conteúdos ao longo do curso; falta de motivação docente para as atividades da primeira à quarta série; necessidade de incluir tópicos obrigatórios e novas tendências; e desgaste da metodologia (PBL) a partir da terceira série. Um amplo trabalho de reforma curricular foi iniciado, baseado na construção coletiva, culminando em mudanças, como: o desenho de uma primeira série mais acolhedora por meio da inclusão de nivelamento de ciências básicas e mentoria; a reorganização cronológica dos conteúdos; o redesenho dos módulos, agora organizados ao redor de grandes áreas ou especialidades afins; a adoção de metodologias ativas mais motivadoras; e a inclusão de novos conteúdos. Discussão: A adoção de novas metodologias ativas em substituição à PBL em alguns momentos apresenta vantagens estratégicas. A Aprendizagem Baseada em Equipes (TBL), mais estruturada que a PBL, pode ajudar na adaptação dos ingressantes à primeira série e facilitar a realização de metodologias ativas num contexto de escassez de docentes. A Aprendizagem Baseada em Casos (CBL) é mais motivadora e pode ser mais efetiva para desenvolver habilidades de raciocínio clínico nas séries pré-internato. Conclusão: O novo currículo, que incorpora as mudanças mencionadas, foi implantado em 2022. Novas avaliações mostrarão se as mudanças trarão melhorias ao curso em termos de adaptação, motivação e resultados de aprendizagem.

Abstract: Introduction: The undergraduate medical course of the State University of Londrina was the second in Brazil to adopt an integrated curriculum and Problem-Based Learning (PBL). Despite its innovative curriculum, which became a reference for other schools, new assessments showed the need to reform it. Experience Report: Systematic course evaluations showed some issues: difficulties in adaptation of new students attending the first year; disorganized sequence of contents throughout the course; teachers' lack of motivation for activities from first to the fourth years; need to include new contents; and deterioration of the methodology (PBL) in third and fourth years. A wide collective effort for curricular reform was initiated, which led to important changes, such as: a more welcoming first year, by including mentoring and activities for the leveling of basic knowledge; chronological reorganization of contents; redesign of modules around great areas of knowledge or related specialties; adoption of new and more motivating active learning and teaching methodologies, and the inclusion of new topics/trends. Discussion: The adoption of other active learning and teaching methodologies present strategic advantages in replacement for PBL. Team-Based Learning (TBL) is a more structured method than PBL, so it can help newcomers to adapt to the first year and make it easier to implement active methodologies in a context of teacher shortage. Case-Based Learning (CBL) generates higher motivation and can be more effective to foster the development of clinical reasoning skills in the preclinical years. Conclusion: The new curriculum, incorporating the changes described above, started in 2022. Further evaluations will show whether the changes will improve the course in terms of adaptability, motivation and learning outcomes.

Estudo de avaliabilidade do Programa Multicêntrico de Qualificação Profissional em Atenção Domiciliar a Distância (PMQPAD) / Evaluability study of the Multicenter Program for Professional Qualification in Distance Home Care (PMQPAD) / Estudio de disponibilidad del Programa Multicéntrico de Cualificación Profesional en la Atención Domiciliaria a Distancia (PMQPAD)

Resumo: Com a implantação da atenção domiciliar no âmbito do Sistema Único de Saúde (SUS), diante da necessidade de capacitação de gestores e profissionais, criou-se o Programa Multicêntrico de Qualificação Profissional em Atenção Domiciliar a Distância (PMQPAD) numa parceria entre a Universidade Aberta do SUS e a Coordenação Geral de Atenção Domiciliar do Ministério da Saúde. Por meio de cursos de especialização, aperfeiçoamento e autoinstrucionais, o programa teve grande capilaridade e alcance no país, com quase 300 mil matrículas distribuídas em todos os estados brasileiros. O objetivo do presente estudo foi estruturar um modelo avaliativo do PMQPAD, por meio de um estudo de avaliabilidade, com a participação dos gestores do programa. Foi utilizada a metodologia desenvolvida por Thurston & Ramaliu, cujas etapas permitiram descrever o programa, representá-lo por meio de um modelo lógico e desenvolver uma matriz avaliativa. Foram realizadas análise documental, entrevistas semiestruturadas e oficinas de consenso para validação do modelo. O processo resultou no desenvolvimento de três matrizes avaliativas, uma para cada modalidade de curso do programa, com quatro dimensões de análise em comum (Características do curso e recursos educacionais; Aspectos institucionais; Resultados; Impactos). Os indicadores avaliativos tiveram, como fontes de dados primários, os alunos, os tutores e os gestores do curso. O estudo contou com a participação dos stakeholders e mostrou-se apropriado para o desenvolvimento da proposta avaliativa. Destaca-se o potencial de utilização das matrizes avaliativas desenvolvidas para a avaliação de outros programas de formação a distância no âmbito do SUS.

Abstract: With the implementation of home care in the Brazilian Unified National Health System (SUS), the need to train administrators and health workers led to the creation of the Multicenter Program for Professional Qualification in Distance Home Care (PMQPAD) in a partnership between the SUS Open University and the General Coordinating Division for Home Care, of the Brazilian Ministry of Health. Through courses in specialization, improvement, and self-instruction, the program achieved wide capillarity and scope in the country, with nearly 300,000 enrollments across all states of Brazil. The current study aimed to structure a model to assess the PMQPAD through an evaluability study with participation by the program's administrators. We used the methodology developed by Thurston & Ramaliu, the stages of which allowed describing the program, representing it with a log frame model, and developing a evaluation matrix. We conducted document analysis, semi-structured interviews, and consensus workshops for the model's validation. The process resulted in the development of three evaluation matrices, one for each of the program's course modalities, with four analytical dimensions in common (Course characteristics and educational resources; Institutional aspects; Results; Impacts). The primary data sources for the evaluation indicators were the students, tutors, and administrators. The study drew on stakeholders' participation and proved appropriate for the development of the evaluation proposal. The results highlight the potential for use of evaluation matrices developed for the assessment of other distance training programs under the SUS.

Resumen: Con la implantación de la atención domiciliaria en el ámbito del Sistema Único de Salud (SUS), ante la necesidad de la capacitación de gestores y profesionales, se creó el Programa Multicéntrico de Cualificación Profesional en Atención Domiciliaria a Distancia (PMQPAD), en una colaboración entre la Universidad Abierta del SUS y la Coordinación General de Atención Domiciliaria del Ministerio de Salud de Brasil. A través de cursos de especialización, perfeccionamiento y de autoaprendizaje, el programa tuvo una gran capilaridad y alcance en el país, con casi 300 mil matrículas, distribuidas por todos los estados brasileños. El objetivo del presente estudio fue estructurar un modelo evaluativo del PMQPAD, a través de un estudio de disponibilidad, con la participación de los gestores del programa. Se utilizó la metodología desarrollada por Thurston & Ramaliu, cuyas etapas permitieron describir el programa, representarlo a través de un modelo lógico, y desarrollar una matriz evaluativa. Se realizó un análisis documental, entrevistas semiestructuradas y talleres de consenso para la validación del modelo. El proceso resultó en el desarrollo de tres matrices evaluativas, una para cada modalidad de curso del programa, con cuatro dimensiones de análisis en común (Características del curso y recursos educacionales; Aspectos institucionales; Resultados; Impactos). Los indicadores evaluativos tuvieron como fuentes de datos primarios los alumnos, los tutores y los gestores del curso. El estudio contó con la participación de los stakeholders, y se mostró apropiado para el desarrollo de la propuesta evaluativa. Se destaca el potencial de utilización de las matrices evaluativas desarrolladas para la evaluación de otros programas de formación a distancia en el ámbito del SUS.

Development and Validation of an Instrument to Evaluate General Competences in Health Area Courses / Desenvolvimento e Validação de Instrumento para Avaliação das Competências Gerais nos Cursos da Área da Saúde

ABSTRACT The evaluation of the General Competencies in undergraduate courses in the healthcare area remains challenging. Objectives To develop an instrument for supporting teaching staff in evaluating the General Competencies of undergraduate students in the healthcare area; to test the reliability of the instrument with teachers and students of the same working field; validate the instrument of General Competencies, directed to teachers and students from the health area. Methods the present was a Methodological study, approved by REC N. 826.770. The validation of the construct, criterion and content based on the National Curricular Guidelines (NCG), and the search for a theoretical framework were performed, as well as statistical tests such as alpha Cronbach, t Test, p-value, Factorial Analysis, Pearson's Correlation Coefficient and Akaike Information Criterion, which also ensured the reliability. The study was performed in a Higher Education Institution in Curitiba/PR, in the courses of Nursing, Biomedical Sciences, Pharmacy, Psychology and Medicine. The study population consisted of 50 evaluations of students and 50 of teachers, covering all the periods and courses during the second half of 2014. Results it was possible to create one model with three versions of instruments that evaluated the general competencies for the healthcare area courses. One of these was directed towards the general competencies of 10 courses in the healthcare area, subdivided in Health Care, Decision-making, Communication, Leadership, Administration and Management and Continuing Education, with one instrument directed at the student and another 'mirror' at the professor. The second and third versions had three dimensions: Health Care, Management in Healthcare and Education in Health, directed towards the general competencies of the new structure of the NCG of the medical course. The three versions also had an instrument for teachers and a mirror one for students. Conclusion To validate the instrument on General Competencies, directed to teachers and undergraduate students of health area courses, the theoretical search, the NCG and the experts' evaluation were used for Content Validity; the t Test, Chi-square Test and Pearson's correlation coefficient were used for Criterion Validation; statistical tests of exploratory and confirmatory factorial analysis and the AIC were used for Construct Validity; and Cronbach's alpha and the AIC were used for Content validity, using the same steps described for the first goal, to ensure the reliability of the instruments. After this process three versions of the instrument were developed, the first two to be used with teachers and with teachers and students together; and the third version is adequate to be used with students or teachers; and also, for teachers and students together. However, it can be used by all health courses studied.

RESUMO A avaliação das competências gerais nas graduações da área da saúde permanece desafiante. Objetivos Desenvolver um instrumento para apoiar os docentes na avaliação das competências gerais dos graduandos de cursos da área da saúde; testar a confiabilidade do instrumento com professores e estudantes do mesmo campo de atuação; validar o instrumento de competências gerais, direcionado aos professores e graduandos da área da saúde. Métodos A pesquisa foi do tipo metodológico, aprovada pelo Comitê de Ética em Pesquisa nº 826.770. Foram realizadas a validação de constructo, a de critério e a de conteúdo com base nas Diretrizes Curriculares Nacionais (DCNs) e na busca de referencial teórico, além de testes estatísticos como alfa de Cronbach, test t, valor de p, análise fatorial, correlação do coeficiente de Pearson e Akaike information criterion (AIC), que também garantiram a confiabilidade. O estudo foi desenvolvido em uma instituição de ensino superior de Curitiba (PR), nos cursos de Enfermagem, Biomedicina, Farmácia, Psicologia e Medicina, sendo a sua população composta de 50 avaliações de estudantes e 50 de professores, o que contemplou todos os períodos e cursos em andamento no segundo semestre de 2014. Resultados Foi possível a confecção de um modelo com três versões de instrumentos que avaliam as competências gerais para os cursos da área da saúde. A primeira englobou as competências gerais de 10 cursos da área da saúde, que se subdividem em: atenção à saúde, tomada de decisões, comunicação, liderança, administração e gerenciamento e educação permanente. A segunda e terceira versões contam com três dimensões, atenção à saúde, gestão em saúde e educação em saúde, voltadas para as competências gerais da nova formulação das DCNs do curso de Medicina. As três versões contam com um instrumento voltado para o professor e outro, espelho, dirigido ao estudante. Conclusão Para validar o instrumento sobre competências gerais, direcionado aos professores e graduandos de cursos da área da saúde, foram utilizadas, no que se refere ao seu conteúdo, a busca de referencial teórico, as DCNs e a avaliação de experts; para a validação de critério, o teste t, o teste χ2e a correlação de coeficiente de Pearson; e para validade de constructo, os testes estatísticos de análise fatorial exploratória e confirmatória e o AIC. Para validade de conteúdo, recorreu-se aos mesmos passos descritos para o primeiro objetivo, a fim de garantir a confiabilidade dos instrumentos, e empregaram-se o alfa de Cronbach e o AIC. Após esse processo, foi possível o desenvolvimento de três versões do instrumento, sendo as duas primeiras para utilização de professores e para professores e estudantes em conjunto; e a versão 3 foi apropriada para professores ou estudantes e ainda para professores e estudantes em conjunto, porém ela pode ser utilizada por todos os cursos da área da saúde estudados.

A prova do ENADE de psicologia 2006: concepção, construção e análise psicométrica da prova / The ENADE psychology exam: conception, construction and psychometric analysis

O Exame Nacional de Desempenho dos Estudantes (ENADE) é elaborado com o objetivo de avaliar as habilidades acadêmicas e competências profissionais desenvolvidas pelos estudantes de Psicologia ao longo de sua trajetória no ensino superior, bem como obter informações sobre suas características socioeconômicas. As informações do ENADE são usadas, em última instância, como parte dos conceitos dos cursos e instituições. Este trabalho apresenta a análise da prova de 2006, respondida por 26613 estudantes ingressantes e concluintes de psicologia. Apresentam-se os procedimentos de construção da prova, uma análise psicométrica empregando a análise fatorial dos itens por informação completa e calibração dos parâmetros dos itens empregando o modelo Rasch e de créditos parciais (para as questões dissertativas). Apresenta-se uma análise dos mapas de itens para se estabelecer referências de interpretação das notas, que permitiu realizar uma caracterização das competências e habilidades dos estudantes pesquisados comparando-se o desempenho dos concluintes em relação aos ingressantes.

The National Exam of Student Performance (ENADE) is a test conducted with the objective of assessing the academic abilities and professional competences developed by psychology students throughout their years of study in higher education as well as information about their socioeconomic characteristics. The information from ENADE is used ultimately as part of a system that evaluates undergraduate programs and institutions. This paper presents an analysis of the 2006 exam, which was answered by 26,613 freshmen and graduating students in psychology. The test construction procedures are presented as well as a psychometric analysis of the exam based on full information item factor analysis and item calibration using the Rasch and Partial Credit (for essay questions). An analysis of item maps is presented to establish references points for scale interpretation that allowed a characterization of the abilities and competences of students comparing the performance of freshmen with graduating students.

Avaliação de um curso técnico de enfermagem: um olhar dos egressos / Evaluation of a Technical Nursing Course: some egress students point of view

Este estudo teve como objetivos avaliar um curso técnico de enfermagem e analisar o processo de avaliação desenvolvido no campo de estágio, sob a ótica dos egressos. Tratou-se de uma pesquisa de caráter exploratório, na perspectiva qualitativa; os sujeitos foram onze egressos da turma de 2001 de uma escola técnica de enfermagem, localizada em um hospital de ensino do município de São Paulo. Os dados foram coletados por meio de entrevistas semi-estruturadas e analisados pelo referencial Bardin, abrangendo as categorias: fatores facilitadores e dificultadores, formando um aluno crítico-reflexivo, sugestões para o curso e fatores relacionados ao processo de avaliação do aluno no estágio. Verificamos pelos resultados, que o curso facilitou a aprendizagem por meio de estágios e que os mesmos foram considerados momentos de maior aproveitamento. Ainda em relação aos estágios, constatamos que ao proporcionar um campo acolhedor e com possibilidade de autonomia para o aluno, existem maiores chances de aprendizagem significativa e entender o processo de trabalho. O conteúdo teórico foi considerado satisfatório e a recuperação paralela apontada como positiva. Por outro lado, em relação às dificuldades nos estágios, os egressos revelaram alguns sentimentos como medo do desconhecido, sofrimento e sentimento de impotência diante de uma certa realidade, sentimentos que podem dificultar a aprendizagem. Emergiram outras dificuldades como rigor excessivo por parte da equipe, medo dos profissionais em delegar a assistência de enfermagem ao aluno, desconfiança. Os sujeitos revelaram satisfação na descoberta e utilização do saber e que aprenderam quando tiveram a chance de fazer conhecendo o porque desse saber. Deixaram claro também que o processo de avaliação de estágio aconteceu de maneira justa, dialogada, objetiva, participativa, contínua, transmitindo segurança ao aluno. O professor foi visto como aquele que conhece o aluno, ) observa seu crescimento e interfere quando necessário; portanto a avaliação desenvolvida no estágio foi realizada na abordagem de competência humana, pois foi feita por meio de observação crítica, sistematizada, criteriosa e processual. Foi evidenciado que os estudos de casos foram essenciais para estimular o processo reflexivo em qualquer fase do curso, inclusive como estratégia para avaliação. Constatamos em apenas dois depoimentos certas dificuldades relacionadas ao processo avaliativo no estágio, como medo, excesso de controle do professor e desconhecimento dos critérios de avaliação, sendo que essa última dificuldade ocorreu em estágios em que o professor não acompanhou diretamente o aluno. Os resultados demonstraram que o curso possibilitou a construção de competências sócio-políticas e pessoais, estimulou o egresso a assumir uma postura crítico-reflexiva, a aprendizagem contínua e ao questionamento. O estudo apontou ainda para a continuidade do projeto pedagógico desenvolvido pela escola e contribuirá para transformação da realidade escolar, no sentido de aperfeiçoar o processo educativo

This study was targeted at the evaluation of a technical nursing course and analyse the evaluation process in the field of traineeship, according to the viewpoint of egress students. It was an exploratory research of qualitative approach. The selected personnel were eleven students enrolled in a technical nursing school that took place in a school hospital in São Paulo city in 2001. The Bardin theoretical reference was used to analyse the data collected through semi-structured interviews, including the categories, factors that facilitate or make it difficult, contribute to educate a critical-reflexive student, suggestions to the course besides factors related to the evaluation process of the traineeship student. According to the results, the course has facilitated the learning by traineeships and they were also considered situations of great improvement it was also possible to realize that when working in a warm and friendly atmosphere, which provides the student autonomy to choose the prodecures, the learning and working process become more effective and meaningful. The theoretical contents were considered satisfying and the parallel recuperation pointed as positive. On the other hand, in relation to the difficulties faced during the traineeship, the egress students showed some feelings related to fear of the unknown, suffering and feelings of impotence when facing certain facts. Those feelings can make learning more difficult. Some other difficulties came up during the course such as inflexibility of the staff, the professionals lack of confidence to allow the students to take care of the nursery - mistrust. The students were satisfied by the acquisition of this knowledge. They also considered the evaluation criteria as fair, dialogical, strict to the point, participative, and continuous leading the student to feelings of self-confidence. The teacher was considered as a professional who cares about his own student's development, so the evaluation was based upon the human competences since it was performed by means of critical and step by step observation. The study of real cases were crucial to aware the reflexive process in any stage of the course and as an evaluation strategy. We checked out that only two students had some difficulties related to the evaluation process in the traineeship, as fear, a very strict teacher and unawareness of the evaluation criteria, but this situation only occurred in stages when the teacher hasn't followed the student directly. The results demonstrated that the course has allowed the build up of personal and social-political competences, has stimulated the egress student to assume a critical - reflexive behaviour, the continuous process of learning and questioning. This study has also pointed to the continuity of the pedagogical project developed by the school and will contribute to transform the school reality and improve the educational process.

Estágios curriculares na Graduação Médica. Apreciação pelos alunos

Resumo: O conhecimento das opiniões discentes sobre o curso frequentado é um dos componentes a ser considerado na avaliação do ensino. A Famed/UFRCS vem aplicando questionários aos alunos de graduação desde 1991 para avaliação da aquisição de habilidades psicomotoras básicas, selecionadas nos seguintes estágios curriculares: Fisiatria, Anestesia, Ginecologia-Obstetrícia, Técnica Operatória, Urgência-Emergência, Otorrinolaringologia, Pediatria e Medicina Interna. Nas questões abertas, dos formulários pós-realização dos estágios, foram registrados 976 comentários espontâneos de alunos. Na presente etapa do processo de avaliação, este trabalho analisa o teor dos comentários. A análise qualitativa das informações emitidas pelos alunos, nos diferentes estágios, definiu seis categorias principais de opiniões: MÉRITOS, INTEGRAÇÃO, ESTRUTURA, DOENTES, ORGANIZAÇÃO e AVALIAÇÃO. A recodificação dos dados segundo ELOGIOS, CRÍTICAS e SUGESTÔES possibilitou a confrontação dos comentários elogiosos e críticos pelo teste Z. Em seis estágios, o percentual de críticas ultrapassou 80%. Os melhores resultados foram obtidos por Ginecologia-Obstetrícia e Medicina Interna, com 42,3% e 29,2%, respectivamente, no item Méritos. Os resultados predominantemente negativos desta avaliação refletem um processo de ensino-aprendizagem, em diversas áreas de treinamento, desacoplado das necessidades da graduação médica, na ótica dos alunos. Essas opiniões deveriam estimular a revisão crítica dos dados pelos professores.

Summary: The medical students' opinion about the course is one of the elements to be considered in the evaluation process. Since 1991, the Faculdade de Medicina, Universidade Federal do Rio Grande do Sul (UFRCS), applied questionnaires to undergraduates for the evaluation of the acquisition of basic motor skills in the following apprenticeships: Physiatrics, Anestesiology, Ginecology­Obstetrics, Operatory Technics, Emergency, Otorrinolaringology, Pediatrics and Internal Medicine. After termination of the training programs, the open-ended question of the questionnaires registered 976 spontaneous comments. ln this report we analyse these comments. The qualitative analysis of the students opinions produced the following six categories: merits, integration, structure, teachers, organization and evaluation. Through data's recodification on merits, critics and suggestions, merits and critics were confronted by the Z test. ln six areas of training the percentual of critics exceeded 80%. Better results for merits were reached by Ginecology-Obstetrics (42.3%) and Internal Medicine (29.2%). This survey shows that the training courses are by far below the students needs. This evidence should mobilize a critical review from the curricula organizers.